カメラプロセッサーにおける顔トラッキング

专利摘要:
写真フィルムを備えないデジタル画像収集システムにおいて使用可能な方法が提供される。かかる方法は、画像ストリームからシーン（該シーンは１つ以上の顔を潜在的に含む）の相対的に低い解像度の画像を受信することを含む。当該画像に少なくとも１つの高品質顔分類器が適用され、相対的に大型又は中型のサイズの顔領域を識別する。また、当該画像に少なくとも１つの弛緩された顔分類器が適用され、相対的に小型のサイズの顔領域を識別する。名目上同じシーンの相対的に高い解像度の画像が受信され、また、前記画像のより高い解像度のバージョンにおいて識別された小型のサイズの顔領域に、少なくとも１つの高品質顔分類器が適用される。
公开号:JP2011514563A
申请号:JP2010526167
申请日:2007-11-12
公开日:2011-05-06
发明作者:ガンガイア，ミフネア；コーコラン，ピーター；ビヂオイ，ペトロネル；ぺトレスク，ステファン，ミレル；ポゾシン，アレクセイ
申请人:テセラ テクノロジーズ アイルランド リミテッド；
IPC主号:G06T7-00

专利说明:

[0001] 本発明は、収集装置の画像処理についての改善された方法及び装置を提供する。特に、本発明は、カメラ付き携帯電話のようなデジタル画像収集装置における改善された顔トラッキングを提供する。]
背景技術

[0002] 図１はデジタル画像収集装置（例えばカメラ付き携帯電話）を例示する。この装置１０は、一般に、比較的制限された処理能力を有する多目的ＣＰＵである、画像信号プロセッサー（ＩＳＰ：Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１４を含む。典型的には、ＩＳＰ１４は、専用チップ、或いは、画像パイプライン２２を含み画像処理を促進する専用ハードウェアユニットを有するセンサー・インターフェース２０を備えたチップセットである。画像センサー１６によって取得された画像は、センサー・インターフェース２０を介してＩＳＰ１４に供給される。] 図１
[0003] かかる装置は、さらに、相対的に強力なホストプロセッサー１２（例えばＡＲＭ９）を含む。このプロセッサーは、ＩＳＰ１４から画像ストリームを受信するように配置される。]
[0004] この装置１０は、当該装置によって取得された任意の主画像と同様の試写画像を表示するために、ＬＣＤのような表示部１８を装備している。一旦装置のスイッチが入れられると、あるいはシャッター・ボタンを半押しすることに応答するプレキャプチャモード中でのみ、試写画像が自動的に生成される。主画像は、通常、シャッターボタンを完全に押し下げることにより得られる。]
[0005] 従来より、顔トラッキングのような高度な画像処理は、ＩＳＰ１４のパイプライン２２にフィードバックを供給するホストプロセッサー１２上で実行される。その後、ＩＳＰ１４は、典型的にはＩ２Ｃインターフェース２４を介してホストプロセッサー１２によって提供されるフィードバックに基づいた画像ストリームにおける後の画像（ら）(subsequent image(s))をレンダリングし、調節し、処理する。したがって、当該ストリームの後の画像の収集パラメーターは、ユーザに表示された画像が増強されるようなものに調節され得る。]
[0006] そのような収集パラメーターは、焦点、露光、及びホワイトバランスを含んでいる。]
[0007] 焦点は、画像の明瞭性または透明性、或いは画像の適切な部分を決定するものであって、レンズの焦点距離及び画像センサー１６の捕獲領域に依存する。画像の焦点が合っている（インフォーカス）かどうか判定する方法は、当技術分野において良く知られている。例えば、画像内に顔領域が検知される場合で、ほとんどの顔らがほぼ同じサイズであり取得された画像内の顔のサイズであるとすれば、顔が画像中にインフォーカスで現われることを後の画像に対して保証するために、適切な焦点距離が選択されることができる。他の方法は、例えば、画像中の高周波ＤＣＴ係数の値によって示されるように、画像又は画像の一部分の鮮鋭度の全体レベルに基づくことができる。これらが画像または関心領域（例えば顔領域）において最も高い場合、画像は焦点が合っていると仮定することができる。したがって、レンズの焦点距離を調節して鮮鋭度を最大限にすることによって、画像の焦点は増強され得る。]
[0008] 画像の露光は、画像の取得の間に画像センサー１６に当たる光の量に関係する。したがって、露光不足の画像は非常に暗く見えて全般的に低い輝度レベルを有し、他方、露光過多の画像は、非常に明るく見えて、全般的に高い輝度レベルを有する。シャッタ速度及びレンズ口径は、画像の露光に影響し、したがって、画質及び画像の処理を向上させるために調節することができる。例えば、顔検出及び認識が画像の露光過多または露光不足に対して敏感であることは良く知られており、それで、露光は、画像ストリーム内での顔の検出を最適化するために調節することができる。]
[0009] ほとんどの光源が１００％純粋な白色ではないという事実により、光源によって照らされた物体は、色かぶりを受けるであろう。例えば、白い物体を照らすハロゲン光源は、物体を黄色に見せるであろう。デジタル画像収集装置のための色かぶりを補うために、つまり、ホワイトバランスを遂行するために、白色の基準点を必要とする。したがって、白色であるべき画像中の点、例えば目の鞏膜の識別により、画像中の他のすべての色は、それ相応に償われ得る。その後、この補償情報は、画像が得られるべき照明のタイプを決定するために利用され得る。]
[0010] 上述したような収集パラメーターの調節が有用で、画質と処理を改善することができる一方で、ＩＳＰ１４へのフィードバックループは相対的に遅く、その結果、画像の焦点、露光及びホワイトバランスを修正するための関連情報をＩＳＰ１４に供給することの遅れを引き起こす。これは、速く変わるシーンでは、ストリームの後の画像がＩＳＰ１４によって作り出される場合に、ホストプロセッサー１２によって提供される調節表示が不適当かもしれないということを意味し得る。さらに、典型的には、ホストプロセッサー１２が利用可能なほとんどの処理能力は、付加価値処理の実行のために利用可能な最小の処理能力を残して、顔追跡アプリケーションを実行するために要求される。]
発明が解決しようとする課題

[0011] 本発明の目的は、先行技術に関する不都合を緩和し、かつデジタル画像収集装置における顔トラッキングの改善された方法を提供することにある。]
課題を解決するための手段

[0012] （発明の記述）
請求項１で主張されるように、本発明は、デジタル画像収集システムにおいて使用可能な方法を提供する。]
図面の簡単な説明

[0013] 本発明の実施の形態は、以下に例を示し、添付した図面を参照して記述される。
本発明の好ましい実施の形態が実装され得るデジタル画像収集装置のブロックダイヤグラムである。
本発明の好ましい実施の形態を例示するワークフローである。]
実施例

[0014] デジタル画像収集装置用の顔トラッキングは、ビデオストリームあるいはカメラ試写のような一連の画像中での人間の顔をマーキングする方法を含んでいる。顔トラッキングは、画像中の顔の位置、または、当該顔の位置の知識（knowledge）に基づいた画像の後処理を許可することを写真家に示すために使用することができる。さらに、顔追跡用アプリケーションは、取得された画像の質の向上を生み出すために、顔情報に基づいた、焦点、露光、及びホワイトバランスのような画像の収集パラメーターの適応的な調節において使用することができる。]
[0015] 一般に、顔トラッキング・システムは、２つの原理モジュールを使用する：
（ｉ）取得画像または画像のシーケンスに新たな候補顔領域を位置付けるための検出モジュール；及び
（ｉｉ）顔領域を追認するためのトラッキング・モジュール。]
[0016] 良く知られた高速の顔検出方法は、米国特許公開出願第２００２／０１０２０２４号明細書に示された、以下のビオラ−ジョーンズである。ビオラ−ジョーンズでは、インテグラルイメージ内の副ウィンドウに分類器を適用することにより、矩形の（かつ次第に整えられた）ハール（Ｈａａｒ）特性に基づいた一続きの３２の分類器（カスケード）が、インテグラルイメージと共に使用される。取得画像の全分析のために、この副ウィンドウは、全画像がカバーされるまでは、インテグラルイメージの全域で漸増的にシフトされる。]
[0017] インテグラルイメージ全体にわたって副ウィンドウが移動することに加えて、さらに、この副ウィンドウは、顔のサイズの可能な範囲をカバーするために、上／下に増減する。より大きなサイズの副ウィンドウは、インテグラルイメージ内の中間地点をそれらの計算のために使用することができるので、従って、インテグラルイメージの解像度は、最も小さなサイズの分類器のサブ・ウィンドウ（つまり検出される最も小さなサイズの顔）によって決定されることが理解されるだろう。]
[0018] 国際特許出願ＰＣＴ／ＥＰ２００７／００５３３０（ＦＮ１４３）号で開示されたように、オリジナルのビオラ−ジョーンズ・アルゴリズムの多くの変形は、文献で知られている。]
[0019] 本実施の形態では、顔トラッキング・プロセスは、ホストプロセッサー１２に対立するものとしてのＩＳＰ１４で実行される。したがって、ホストプロセッサーのより多くの処理能力は、顔認識のようなさらなる付加価値アプリケーションに利用可能である。さらに、ＩＳＰ１４は、焦点、露光及びホワイトバランスのような取得画像のパラメーターを、適応的により効率的に調節することができる。]
[0020] 理解されるように、高解像度の画像上で実行された顔追跡アプリケーションは、相対的により低い解像度の画像上でよりも、概して正確な結果を得るであろう。さらに、画像内の相対的に小さなサイズの顔を追跡することは、一般に、より大きな顔に対してよりも、比例的に多くの処理を要求する。]
[0021] ＩＳＰ１４の処理能力はもちろん制限されており、したがって、本発明による顔トラッキング・アプリケーションの配置は、ＩＳＰ１４上で効率的に実行するために最適化される。]
[0022] 好ましい実施の形態では、典型的な入力フレームの解像度は、１６０×１２０である。また、顔のサイズは、小型、中型、及び大型に分類される。画像中の中型サイズ及び大型サイズの顔は、それぞれ、１４ｘ１４及び２２ｘ２２の高品質分類器、例えば、顔を受容するために、相対的に長い分類器または相対的に高い閾値を備えたカスケード分類器を適用することにより、検知される。]
[0023] 収集装置からの被写顔の距離は、画像中の被写顔のサイズを決定する。収集装置からより長い距離に位置する第１の被写顔は、第２の被写顔よりも明白に、より小さく見えるであろう。より小型のサイズの顔は、より少数のピクセルを含み、したがって、より少ない情報は、顔に由来し得る。そのため、より小型のサイズの顔の検出は、より大型の顔に対してよりも比例的に多くの処理がさらに要求されることから、本質的にそれほど信頼できるものではない。]
[0024] 好ましい実施の形態では、小型のサイズの顔は、弛緩された７ｘ７分類器（例えば、顔の受容のために、短いカスケードの分類器またはより低い閾値を備えた分類器）で検知される。より弛緩された分類器の使用は、小型のサイズの顔を検知するために、それ以外に要求される処理能力を縮小する。]
[0025] それにもかかわらず、そのような弛緩された分類器の適用は、多くの誤検出（つまり顔として分類されている非顔領域）を生じさせることが認められる。そのため、画像収集パラメーターの調節は、小型の顔の検出に応じて異なるように適用され、また、画像のさらなる処理は、以下により詳細に説明されるように、中型または大型の顔よりも、小型の顔に対しては異なっている。]
[0026] 図２は、本発明の好ましい実施の形態を例示するワークフローを示す。] 図２
[0027] 装置１０は、起動すると、連続する画像が名目上同じシーンに存在するように、一連の画像を近接間隔で自動的に捕獲し格納する。そのような一連の画像は、一連の試写画像、ポストビュー画像、あるいは主取得画像を含み得る。]
[0028] 試写モードにおいて、画像センサー１６は、ＩＳＰ１４に画像を低解像度（例えば画像ストリームから１６０×１２０）で供給する（ステップ１００）。]
[0029] ＩＳＰ１４は、画像に少なくとも１つの高品質分類器カスケードを適用して、大型及び中型サイズの顔を検知する（ステップ１１０）。好ましくは、１４ｘ１４及び２２ｘ２２顔分類器カスケードの両方が画像に適用される。]
[0030] ＩＳＰ１４は、画像に少なくとも１つの弛緩された顔分類器を適用して、小型の顔を検知する（ステップ１２０）。好ましくは、７ｘ７顔分類器が画像に適用される。]
[0031] 分類器から検索された顔についての知識に基づいて、当該ストリームでの後の画像用の画像収集パラメーターは、表示部１８に供給される画像を増強するために及び／又は画像の処理を改善するために、調節され得る。好ましい実施の形態では、分類器から検索された顔についての知識は、画像ストリームにおける次の画像の焦点、露光及び／又はホワイトバランスの１つ以上を調節するために利用される（ステップ１３０）。]
[0032] 分類器から受信された顔についての知識は、顔の位置、顔のサイズ、及び識別された顔が実際に顔である可能性、に関する情報を含む。国際特許出願ＰＣＴ／ＥＰ２００７／００６５４０（ＦＮ１８２／ＦＮ２３２／ＦＮ２１４）号は、与えられた位置で顔が存在する可能性を示す信頼度を決定することについて論じる。この情報は、各々の顔に対する重み付けを決定し、それにより収集パラメーターの調節を促進するために、利用され得る。]
[0033] 一般に、大型の顔は、相対的に小型の顔よりも多くの情報を含むであろう。しかしながら、より大型の顔は、顔としての識別を失敗するより大きな可能性を有する場合及び／又は画像の非中央位置に位置される場合には、画像の中央に位置され且つ誤検出のより低い可能性を含む相対的に小型の顔の重み付けよりも、なお一層より低い重み付けが割り当てられ得る。したがって、より小型の顔から引き出された情報は、大型の顔から引き出された情報に優先して、収集パラメーターを調節するために使用され得る。]
[0034] 実施の形態において、画像中に小型のサイズの顔だけが検知される場合、小型の顔についての知識は、単に、当該ストリームにおける次の画像の露光を調節するために利用される。弛緩された分類器は幾らかの誤検出を出すが、これらは露光の調節に厳しく不利に影響を及ぼすものでないことが認識されるであろう。]
[0035] 焦点調節は、装置のレンズが小型の顔に対して無限遠で焦点を合わせ、そのような調節から殆ど得られないという事実により、小型の顔に基づいた次の画像上で遂行されない。小型の顔に対しては、ホワイトバランスは、それらがあまりにも小さく、いかなる重要なホワイトバランス情報も検索することができないと考えられるので、調節されない。それにもかかわらず、焦点及びホワイトバランスの各々は、中型及び大型のサイズの顔の検出に基づいて、有用に調節することができる。]
[0036] 好ましい実施の形態では、例えば、シャッターをクリックすることにより、ユーザがフルサイズの主画像を得ると、この画像がホストに伝達され（ステップ１５０）、検知／追跡された顔領域も、ホストプロセッサー１２に伝達される（ステップ１４０）。]
[0037] 代替の実施の形態では、フルサイズの画像は、一定間隔（例えば３０の試写フレーム毎、あるいは３秒毎）にユーザの介在なしで、あるいは、試写画像ストリームの分析に反応して、時折得られる。例えば、より小型の顔だけが検知される場合、そのような画像から推定された情報を時折再確認することが望ましいかもしれない。]
[0038] フルサイズの主画像の取得の後、ホストプロセッサー１２は、（より高い解像度の）典型的には３２０ｘ２４０又は６４０ｘ４８０の解像度を備えたより大きな主画像上の弛緩された小型の顔分類器によって識別された顔領域を再テストする（ステップ１６０）。この検査は、より低い解像度の画像上で弛緩された顔分類器によって出された誤検出を軽減または除去する。画像のより高い解像度のバージョン上で再テストする段階が実行されるので、小型のサイズの顔は、より多くの情報を含み、そのためにより大型のウィンドウサイズの分類器によって検知できる。この実施の形態では、検査のために１４ｘ１４及び２２ｘ２２顔分類器の両方が利用される。]
[0039] 当該検査に基づいて、主画像は、例えば、より適切に顔を照らすために画像の輝度値を調節することにより、あるいは画像のホワイトバランスの調節により、調整されることができる。赤目補正またはぼけ修正のような他の補正もまた、改善された顔検出で向上される。]
[0040] どのような場合も、その後ユーザは、表示部１８上で、ユーザ体験を向上させる洗練された画像が提示される（ステップ１７０）。]
[0041] 検査段階は、最小の計算を要求し、さらなる付加価値アプリケーション、例えば、顔認識アプリケーション、瞬きのリアルタイム検出及び予防、笑顔検出、及びモーフィングのような特別なリアルタイム顔エフェクトのために利用されるホストプロセッサー１２の処理能力の余地を与える。]
[0042] 好ましい実施の形態では、検査された顔位置のリストは、破線によって示され、ＩＳＰ１４に提供される。また、この情報は、ＩＳＰ１４内の顔トラッキングまたは画像収集パラメーターを改善するために利用することができる。]
[0043] 代替の実施の形態では、検査段階は、より高い解像度の画像上で検査が行なわれるが、画像全体に分類器が適用される必要はなく、また、そのような小さな処理能力が必要とされるものとして、ＩＳＰ１４上で遂行されることができる。]
[0044] 本発明は、ここに記述された実施の形態（ら）に制限されるものではなく、本発明の範囲を逸脱することなく修正あるいは変更を加えることができる。]

权利要求:

請求項1
写真フィルムを備えないデジタル画像収集システムにおいて使用可能な方法であって、ａ）画像ストリームから、潜在的に１つ以上の顔を含むシーンの、相対的に低い解像度の画像を受信すること；ｂ）前記画像に少なくとも１つの高品質顔分類器を適用して、相対的に大型又は中型のサイズの顔領域を識別すること；ｃ）少なくとも１つの弛緩された顔分類器を適用して、前記画像に相対的に小型のサイズの顔領域を識別すること；ｄ）名目上同じシーンの相対的に高い解像度の画像を受信すること；及び、ｅ）前記画像の前記より高い解像度のバージョンにおける前記識別された小型のサイズの顔領域に、少なくとも１つの高品質の顔分類器を適用すること；を含む方法。
請求項2
第１のプロセッサーでステップａ）乃至ｃ）を遂行し、別個の第２のプロセッサーでステップｄ）及びｅ）を遂行することを含む請求項１に記載の方法。
請求項3
ステップｂ）及びｃ）の各々は、顔サイズ、顔位置、及び、前記画像が前記顔領域又はその付近で顔を含む可能性の表示を含む情報を提供することを含む請求項１記載の方法。
請求項4
前記情報に基づく重み付けを生成することをさらに含む請求項３記載の方法。
請求項5
前記情報に基づいて、前記画像ストリームにおける後の画像の画像収集パラメーターを調節することを含む請求項３に記載の方法。
請求項6
前記調節された画像収集パラメーターは、焦点、露光、及びホワイトバランスの少なくとも１つを含む請求項５に記載の方法。
請求項7
前記ストリームにおける前記後の画像は、試写画像である請求項５に記載の方法。
請求項8
前記ストリームにおける前記後の画像は、主取得画像である請求項５に記載の方法。
請求項9
前記後の画像をユーザに表示することをさらに含む請求項５に記載の方法。
請求項10
前記別個の第２のプロセッサーで前記高い解像度の画像上で付加価値アプリケーションを遂行することをさらに含む請求項２に記載の方法。
請求項11
前記少なくとも１つの高品質顔分類器は、顔を受容するために、相対的に長いカスケード分類器または相対的に高い閾値を備えた分類器を含み、前記弛緩された顔分類器は、顔を受容するために、相対的に短いカスケード分類器または相対的に低い閾値を備えた分類器を含む請求項１に記載の方法。
請求項12
画像センサーに動作可能に接続された第１のプロセッサーと、前記第１のプロセッサーに動作可能に接続された第２のプロセッサーと、を含み、前記第１のプロセッサーは、取得画像を前記第２のプロセッサーに供給するように配置され、前記第２のプロセッサーは、当該画像を格納するように配置され、前記第１のプロセッサーは、画像ストリームからのシーン（該シーンは潜在的に１つ以上の顔を含む）の相対的に低い解像度の画像に少なくとも１つの高品質顔分類器を適用して、相対的に大型又は中型のサイズの顔領域を識別し、少なくとも１つの弛緩された顔分類器を前記画像に適用して、相対的に小型のサイズの顔領域を識別するように配置され、前記第２のプロセッサーは、名目上同じシーンの相対的に高い解像度の画像を受信して、前記画像の前記より高い解像度のバージョンにおいて前記識別された小型のサイズの顔領域に、少なくとも１つの高品質顔分類器を適用するように配置されたデジタル画像収集装置。